Программа с открытым кодом для извлечения вокала из трека

Всем привет! Сегодня Ultimate Vocal Remover GUI у нас на обзоре. Программа доступна на GitHub и установщиком, давайте посмотрим, на что она способна!

Я возьму три трека для пробы

DJ BoBo - Let The Dream Come True

Junior Caldera - Can't Fight This Feeling

The Weeknd - After Hours

Покажу работу на двух моделях, которые мне понравились больше всего - MDX-Net - очень качественно отделяет голос и Demucs - имеет возможность сплитнуть трек на 4 дороги - бас, ударные, мелодия и голос. Каждая хороша под свои задачи и как по мне эта программа справляется лучше онлайн-сервисов AI Splitter'a и Vocal Remover'а с их одной бесплатной попыткой. Кстати, пройдёмся по кнопкам и крутилкам внутри программы:

В окне Select Input выбираем файл с компьютера, с которым будем работать. Output соответственно выбираем куда сохранять

Choose process method - выбор модели. Вы можете поэкспериментировать, но, как я уже сказал, мне приглянулись две модели из этого списка.

В правом верхнем углу выбираем формат в который будем экспортировать.

Segment Size - вот тут сложнее. Как я понимаю - это что-то типа объёма буфера, что напрямую влияет на качество генерации. Я выставил 2560, но думаю можно и больше, но мне показалось этого более чем достаточно.

GPU Coversion - использовать графический процессор для более быстрого результат

Instrumentals/Vocal only - сохранить только вокал либо только инструментал

Sample Mode - для тех, кто хочет найти для себя лучшую модель - вместо полного трека демонстрирует 30-секундные отрывки с отделенным голосом

Overlap я поставил дефолтный. Вот кстати мои настройки для модели Demucs:

Давайте посмотрим на результат:

MDX-Net очень круто справилась с задачей, я думаю если выставить в Demucs буфер побольше то результат будет покруче!

До новых встреч, ждите новые гайды на классные нейросетевые штуки!

Интересна тема генерации музыки с помощью нейросетей? Добро пожаловать в Нейро-Звук🔉

Понравилось? Тогда милости прошу в мой телеграм канал, буду ждать тебя там!🔥

Deepfake от мира музыки - меняем голос за пару кликов (плюс portable версия)

RVC-GUI позволяет очень легко изменить голос на голос из заранее обученной модели, например музыканта, актера, известного деятеля или и вовсе вашего приятеля (при наличии соответствующей модели). Но данный скрипт не имеет в себе функции обучения моделей, да и, к тому же, этот процесс может показаться сложноватым для обычного человека, не знакомого с нейросетями.

Процесс замены голоса происходит так:

1) Выбираем аудиофайл с голосом, который будем менять. Важно чтобы в дорожке не было музыки и посторонних звуков. Удалить звук можно различными онлайн-сервисами, лично я пользовался vocalremover

2) Импортируем предварительно обученную модель в формате zip файла.

Модели англоязычных музыкантов можно найти тут: Huggingface

Выбираете модель с припиской (RVC) или (RVC-2), качаете zip файл и затем импортируете в нашу программу.

Или же в Дискорд сервере AiHub в канале Voice-Models

2) Выбираем модель в списке моделей

3) Выбираем метод преобразования голоса. Все они отличаются по качеству и скорости, рекомендую использовать harvest

4) Выбираем Тон (опционально)

5) Выбираем Выбор ускорения. Если у вас видеокарта от Nvidia - выбирайте GPU. Если же нет - то CPU.

6) Жмем конвертировать. Обработанный файл будет находиться в той же папке, где и оригинал.

Официальную версию можно скачать можно на Github

Я же подготовил portable версию, не требующую установку python, ffmpeg и прохождения процесса установки библиотек. Кроме этого она полностью переведена на русский язык.

Запуск: вам нужно лишь распаковать архив и запустить START.bat

Cкачать можно на Яндекс Диске.

Будущие обновления будут выходить у меня в Телеграм канале, там же можно найти и другие сборки нейросетей, а также просто задать вопросы по интересующим проблемам.

Рекомендуем
@littlePusy
@fatM
Тренды

Fastler - информационно-развлекательное сообщество которое объединяет людей с различными интересами. Пользователи выкладывают свои посты и лучшие из них попадают в горячее.

Контакты

© Fastler v 2.0.2, 2024


Мы в социальных сетях: